StreamTTT: Reconciling Real-Time Perception and Long-Term Memory in Streaming VLMs
StreamTTT：在流式视觉语言模型中协调实时感知与长期记忆
🧭 流式视觉语言模型 · 快速权重记忆
National University of Singapore · Karlsruhe Institute of Technology
提出StreamTTT将长程历史写入在线更新的快速权重，缓解流式VLM感知与记忆的权衡
📌 工作参考价值（4 点）
- 长期记忆外部化：把长程历史压缩到在线更新的快速权重（fast weights）中，避免全部塞入Transformer上下文造成注意力稀释，类似推荐系统中将用户长期兴趣建模在外部参数，短期会话保持滑动窗口。
- 滑动KV cache只留近期证据：在实时推荐/流式用户行为建模中，可以只保留最近交互的KV缓存，将长历史沉淀到可更新的小网络，实现低延迟实时推理。
- 在线更新参数替代全量缓存：快速权重在线更新机制类似TTT，对用户兴趣漂移建模可尝试用小参数在线学习历史，避免维护超长序列。
- 混合训练数据构造：联合离线长视频QA与实时QA训练，启发在电商推荐中混合长期历史序列和实时行为数据进行联合优化，提升长期记忆与实时感知的平衡。